Thời Pháp thuộc (1884-1945)

Dưới thời Pháp thuộc (trước cách mạng tháng 8/1945) chưa có huyện Sông Mã, lúc đó ba vùng đất của Sông Mã thuộc ba châu khác nhau. Vùng Sốp Cộp là một tổng thuộc Mường Thanh (Điện Biên), vùng Mường Lầm thuộc Mường Muổi (Thuận Châu), vùng Mường Hung thuộc Mường Mụa (Mai Sơn).

Sau cách mạng tháng 8 năm 1945

Ngày 7 tháng 3 năm 1953, Khu ủy Tây Bắc quyết định tách ba vùng: Sốp Cộp (thuộc Điện Biên), Mường Lầm (thuộc Thuận Châu), Mường Hung (thuộc Mai Sơn) gộp lại thành lập châu mới là châu Sông Mã, thuộc tỉnh Sơn La. Từ 1953 đến giữa năm 1962 gọi là châu Sông Mã; từ giữa năm 1962 đến nay gọi là huyện Sông Mã.

Khi thành lập, huyện Sông Mã có 24 xã: Chiềng Ban, Chiềng Cang, Chiềng Đen, Chiềng En, Chiềng Khoong, Chiềng Khương, Chiềng Phung, Chiềng Sơ, Dồm Cang, Đứa Mòn, Huổi Một, Mường Cai, Mường Hung, Mường Lầm, Mường Lạn, Mường Lèo, Mường Và, Nà Nghịu, Nậm Mằn, Pắc Ma, Pú Bẩu, Púng Bánh, Sốp Cộp, Yên Hưng.

Tháng 3 năm 1953, châu Sông Mã chuyển trung tâm từ bản Lấu Ngày (xã Mường Lầm) về khu cánh kiến (nay thuộc xã Nà Nghịu) và đến đầu năm 1976 châu Sông Mã chuyển trung tâm từ khu cánh kiến về địa điểm mới (Thị trấn hiện nay).

Thực hiện Quyết định số 173-CP ngày 26 tháng 10 năm 1961 của Hội đồng Chính phủ, theo đó:

• Giải thể xã Mường Cai thuộc châu Sông Mã
• Sáp nhập bản Co Phương vào xã Mường Và
• Sáp nhập các bản Huối Co, Na Don, Hin Khoang và bản Hin vào xã Chiềng Khoong
• Sáp nhập các bản Mường Cai, Huối Khe và Huối Sum vào xã Mường Lạn.

Từ năm 1976 đến nay

Theo Quyết định số 13-BT ngày 13 tháng 4 năm 1977 của Bộ trưởng Phủ Thủ tướng, thành lập thị trấn Sông Mã thuộc huyện Sông Mã.

Thực hiện Quyết định số 130-BT ngày 25 tháng 7 năm 1978 của Bộ trưởng Phủ Thủ tướng, xã Chiềng Ban được đổi tên thành xã Nậm Lạnh, xã Chiềng Đen đổi tên thành xã Nậm Ty, xã Pắc Ma đổi tên thành xã Bó Sinh.[3]

Thực hiện Quyết định số 18-CP ngày 16 tháng 1 năm 1979 của Hội đồng Chính phủ, cắt một số bản thuộc các xã Sốp Cộp, Chiềng Khoong, Mường Và, Mường Lạn thuộc huyện Sông Mã để thành lập một xã mới lấy tên là xã Mường Cai.

Thực hiện Quyết định số 105-CP ngày 13 tháng 3 năm 1979 của Hội đồng Chính phủ, chuyển xã Mường Sai của huyện Mai Sơn cho huyện Sông Mã.

Thực hiện Quyết định số 04/HĐBT ngày 11 tháng 1 năm 1986 của Hội đồng Bộ trưởng, chia xã Púng Bánh thành hai xã: Púng Bánh và Sam Kha.

Cuối năm 2002, huyện Sông Mã có 27 đơn vị hành chính gồm thị trấn Sông Mã và 26 xã: Bó Sinh, Chiềng Cang, Chiềng En, Chiềng Khoong, Chiềng Khương, Chiềng Phung, Chiềng Sơ, Dồm Cang, Đứa Mòn, Huổi Một, Mường Cai, Mường Hung, Mường Lầm, Mường Lạn, Mường Lèo, Mường Sai, Mường Và, Nà Nghịu, Nậm Lạnh, Nậm Mằn, Nậm Ty, Pú Bẩu, Púng Bánh, Sam Kha, Sốp Cộp, Yên Hưng. Tổng diện tích khi ấy của toàn huyện là 3.110,1 km².

Thực hiện Nghị định số 148/2003/NĐ-CP ngày 02 tháng 12 năm 2003 của Chính phủ, tách 8 xã phía nam huyện Sông Mã được tách ra (Sốp Cộp, Mường Lạn, Dồm Cang, Sam Kha, Mường Và, Mường Lèo, Púng Bánh, Nậm Lạnh) để thành lập huyện Sốp Cộp.

Huyện Sông Mã còn lại 1 thị trấn và 18 xã với tổng diện tích tự nhiên là 164.220 ha như hiện nay.